Diffusion Drafts, AR Verifies: Accelerating Document OCR with Self-Speculative Decoding
扩散草稿 + 自回归验证加速文档 OCR
🧭 扩散草稿 + 自回归验证加速生成
Trillion Labs · Korea University · Seoul National University
参数共享 AR-block-diffusion 模型并行草稿 + AR 验证，实现 OCR 解码 3.94 倍加速
📌 工作参考价值（4 点）
- 生成式推荐/广告文案等 input-grounded 长文本任务可借鉴：用 diffusion 并行生成多个 draft token，再用共享参数的 AR 路径做因果验证，接受多 token 提交，无需额外 drafter 网络。
- GRPO 直接优化共享 drafter 参数，用序列级或结构级奖励（如文本格式、关键词覆盖）避免 diffusion trajectory likelihood 估计，训练更稳定且可优化业务目标。
- 自推测解码可嵌入现有 serving 框架（如 SGLang），平均每 forward 提交 9.7 tokens，适合高吞吐低延迟的在线文案生成、query 推荐场景。
- OCR/文档理解中的结构化输出（HTML/LaTeX）奖励信号可类比于电商场景的结构化商品描述、广告落地页生成，可直接复用奖励设计思路。